\chapter{Dealing with Limitations}

\textit{没有任何计划能在与敌人接触后幸存。}

\textit{\hfill ——老赫尔穆特·冯·毛奇}

\vspace{1em}

没有任何研究是完美的。每项研究都有其局限性，每个数据集也都有瑕疵。即使你在关注有意义的结果和从中产生的理解时，也必须处理这些问题。关键在于：如何在讨论负面问题时，不削弱正面成果？

许多作者在讨论局限性时，采用了我称之为“yes, but”的策略。他们先展示结果和结论，然后再讨论其局限性。最经典的形式是“more research is needed”的解决方案。这种“yes, but”策略的问题在于，它把“but”放在最后，使其成为最终的结论和最有力的信息。

那么，替代“yes, but”的策略是什么呢？把它反过来。与其说“yes, but”，不如说“but, yes”。尽早处理局限性，把讨论放在前面，然后继续构建一个强有力的故事。将结论限制在局限性的范围内，但以“yes”作为结尾。

“But, yes”策略让你能够以强有力的方式结束，从而讲出更好的故事。更重要的是，它也让读者更容易理解，并且我认为它更加诚实。这种策略通过提前揭示问题来实现这些目标，而不是让问题像广告中的小字一样，希望读者忽略。在列出局限性之后，读者可以根据这些局限性来理解你的数据和讨论。他们不需要回过头来重新处理信息——这会增加工作量并导致混乱。根据问题的不同，你可能需要在论文或提案的任何部分讨论局限性；一般来说，越早越好。

\section{引言：承诺你将讲述的故事}
许多问题并非源于方法和数据的内在局限性，而是源于问题与方法之间的不匹配。作者提出了一个好问题，但使用的方法不足以回答这个问题。有时，只需修改问题就能解决这些问题。在引言中，明确你将填补的知识空白——设定你可以实现的期望。

举个例子，假设有一篇提交给《土壤生物学与生物化学》的论文，引言中写道：

\begin{quote}
   例 18.1

\textit{To determine the size of the bacterial population in soil, we plated bacteria on nutrient agar and counted colonies.
}\end{quote}

我可能会在没有审稿的情况下拒绝这篇论文。我们一个世纪前就知道，最多只有1\%的土壤细菌能在琼脂平板上生长，因此这种方法不可能确定土壤中有多少细菌。要计算细菌总数，你必须进行显微镜计数或DNA分析。另一方面，如果论文中写道：

\begin{quote}
   例 18.2

\textit{To determine the size of the bacterial population in soil that is able to respond to inputs of fresh, high-quality organic materials, we plated bacteria on nutrient agar and counted colonies.
}\end{quote}

对于这个问题，这种方法至少是合理的。事实上，适用于第一个问题的方法（显微镜和DNA分析）在这个问题上会失败。这些方法无法告诉你哪些细菌在得到营养后会生长；而接种法可能会。因此，这篇论文我会送审。

当然，如果这是挑战所在，我们必须重新审视开头，确保他们围绕能够响应输入的细菌提出知识空白，而不是关于整个细菌种群。这重新定义了研究并限制了其范围，但未必使其变得不那么有趣或重要。甚至可能让它更有趣——我对小而深刻的问题持开放态度。正如我之前所说，填补一个小的知识空白总比什么都不填补要好，如果问题和答案不匹配，读者会认为你什么都没做。

\section{材料与方法}
第二个可以讨论局限性的地方是Materials and Methods部分。当局限性与实验细节或分析方法相关时，立即讨论它们以消除读者的疑虑。如果你不这样做，读者可能会认为这项研究存在严重缺陷，以至于没有继续阅读的必要，或者他们可能会因为担忧而分心，从而忽略你的重要观点。最好的情况是，他们仍然持怀疑态度，而你很难获得他们的完全认可。如果你能在读者的疑虑出现时立即解决，效果会好得多。

一个优秀的例子是关于加拿大北部雪鞋兔越冬存活率的研究论文。其中一个实验处理涉及一个大型围栏，用于排除捕食者。

\begin{quote}
   例 18.3
   
\textit{Our final two treatments increased hare survival by excluding predators. One 1-km² area was enclosed by chicken-wire and electrical fencing (predator-exclosure) from 1987 to 1996 to exclude terrestrial predators, primarily lynx (Lynx canadensis Kerr) and coyotes (Canis latrans Say).
}\end{quote}

这里的局限性在于设计没有重复——他们只有一个围栏。传统的统计逻辑可能会认为，没有重复就无法确定效果是否由围栏本身引起。有些人可能会读到这一点并认为“没有重复且没有统计学意义，因此不可靠且不科学”。如何解决这个问题？作者通过以下段落进行了说明。

\begin{quote}
   例 18.4

\textit{The predator-exclosure and predator-exclosure + food sites were not replicated, owing to the high costs of maintaining 8 km of electric fencing on a nearly daily basis for a decade. Ecologists are caught increasingly in the tension between the manipulations necessary to understand large-scale ecological processes and the impossibility of replicating large manipulations. Our control sites sampled a wide range of natural variation within our study area, increasing the likelihood that differences on the treatments were due to our manipulations rather than to underlying natural variation.
}\end{quote}

这段文字有效地且毫不掩饰地解决了无重复的问题。首先，作者清楚地说明了为什么无法重复。然后，他们将其置于更广泛的生态学研究讨论中：我们通常无法使用整洁的重复实验设计来研究复杂的自然。环境科学家必须（也确实）接受伪重复实验，只要研究者能够敏感并适当地处理其局限性。因果关系的推断必须超越简单的统计学。毕竟，我们研究的是“地球系统科学”，但只有一个地球。最后且重要的是，他们讨论了如何处理这些局限性，以说服读者对照组和围栏之间的差异可能是真实的处理效果。完成这些后，他们不再提及这个问题，而是继续讨论真正的科学和重要结果。

在描述方法时立即解决方法的局限性，在提案中比在论文中更为重要。当你的听众不友好且挑剔时，你不能给他们任何“负面评价”的借口。特别是在人们对方法有分歧时，解释为什么你的方法能够回答你的问题非常重要。如果存在局限性，解释你如何绕过它们。如果你不打算做某些事情，告诉我们原因（太昂贵、对你的具体问题不必要等）。如果你避免提及负面问题，评审者仍然会发现它们，批评你，并可能建议拒绝。如果你公开讨论这些问题，评审者可能仍然会反对，但你可能会说服他们你是对的，或者至少你已经充分思考过，从而获得他们的信任。

一个这种策略的例子是我几年前写的一份提案，旨在描述北极苔原土壤有机质（SOM）的特征。苔原土壤中含有大量的有机碳，可能会以CO2的形式释放，加速气候变暖。我们想找出可生物降解的SOM的数量和化学形式。挑战在于，SOM由复杂的分子混合物组成，从新鲜的植物糖到古老的腐殖质。其中一些易于处理，而另一些则实际上是惰性的。目前没有方法可以明确表征这些物质。然而，有几种方法可以揭示SOM化学的特定方面。

我第一次提交提案时，描述了方法但没有讨论其挑战。评审者指出了方法的局限性，提案被拒绝。在重新提交时，我加入了以下部分（略有压缩）。

\begin{quote}
   例 18.5

\textit{Potential pitfalls\\
Each of the methods proposed has potential limitations, and the utility of several have been questioned. However, we believe that we have constrained the limitations adequately. We have done this by being careful in interpreting what the data actually tell you (e.g. isotope equilibration as a method for estimating microbial metabolites rather than the total active fraction) and in part by carefully integrating different approaches to complement each other. Thus we believe that this suite of methods will do a good job of characterizing the nature of available C and N across the tundra landscape.\\
The isotope equilibration technique relies on several assumptions. As originally construed, it required the assumption that it labels the active fraction without labeling the recalcitrant fraction. This is debatable since some microbial products are recalcitrant. However, the assumption that it labels the microbial metabolite pool is substantially more robust. There is rarely extensive abiotic immobilization of either 15NH4+ or glucose, so the isotopes should be in the metabolite pool.\\
The utility of chemical fractionation in characterizing soil organic matter has been debated ever since the first fractionations of fulvic and humic acids. Chemical fractionation of plant material, however, has been quite successful in characterizing litter quality. Since in tundra soils much of the organic matter is still plant detritus these techniques should be useful.
}\end{quote}

第二次提交后，提案获得了资助。评审者仍然评论了方法和项目的挑战，但态度积极，认为我们平衡了方法的优势和局限性，并且已经思考过如何解释结果。我们没有改变方法，只是改变了我们对结果的解释方式。

我有时会说，没有所谓的方法是不好的。只要做得好，任何方法都能提供可靠的数据和真实的信息。“不好”的部分总是与解释有关——一个方法可能确实不适合测量某样东西，但适合测量稍微不同的东西。在Example 18.3中，同位素平衡技术不适合估计活性部分，但适合估计微生物代谢物。确保解释为什么你的方法能提供你需要的信息。

\section{讨论}
当局限性涉及方法细节时，应在Methods部分讨论。当它们超出方法细节，影响你如何解释数据时，你必须在Discussion部分讨论这些问题。你必须公开讨论局限性，但不要过于强调它们，以至于它们成为完全拒绝论文的理由。要做到这一点，既需要故事结构，也需要语言技巧。

在结构方面，问题在于将局限性的讨论放在哪里。大多数情况下，你应该避免在讨论的开头和结尾这些重要位置讨论局限性。这些位置是用于关键故事点的，如果局限性是关键点，那为什么要提交这篇论文呢？你通常应该在讨论的正文部分找到一个合适的位置，尽早讨论工作的局限性和约束。

至于语言，要简洁而诚实地讨论，然后继续讲述故事。Example 8.7使用了这种方法。作者在讨论中提到了两个对结论的限制，但他们将这些限制放在段落中间——在引导句之后，但在其余讨论之前。

一个关于方法局限性的优秀讨论来自一篇研究吸入皮质类固醇（ICS）作为哮喘治疗方法的副作用的论文。临床试验可能会低估副作用，因为试验通常时间较短，并且对参与者的选择标准有限。为了更好地评估ICS的副作用，研究人员调查了常规使用ICS的人群，发现从口腔黏腻到情绪波动和睡眠问题等一系列副作用，其中一些副作用尚未得到充分记录。但基于调查的研究总是存在局限性，作者认为有必要让读者注意到这些局限性。

\begin{quote}
   例 18.6

\textit{Limitations of our research include potential selection bias. Although our response rate (56\%) is not atypical for a questionnaire study, we acknowledge that responders may have had a greater propensity for perceiving ICS side effects as compared to non-responders, and it is possible that side effect reporting may have been inflated in all dose groups as a result. Alternatively, ICS users in our study may have experienced relatively mild ICS side effects, since they continue to use ICS regardless of their perception of side effects.
}\end{quote}

这段文字指出，调查研究中存在一些无法克服的定量不确定性——你无法强迫人们回答或诚实回答。但结果中出现了稳健的模式，提供了医生应该注意的信息，作者随后对此进行了详细阐述。

另一个在讨论中处理局限性的例子来自一篇关于个体差异如何影响不同组织中的转录模式，最终导致不同生理学的论文。

\begin{quote}
   例 18.7

\textit{Despite the limited number of validated examples, osteoblast-specific transcript isoforms are present and indicates that expression of certain alternatively spliced variants in bone tissue are controlled by different regulatory SNPs and vary between individuals and/or populations, with potentially important biological functions.
}\end{quote}

作者以“Despite the limited number of validated examples”开头，这为“but”设定了框架；然后他们通过说明成骨细胞特异性转录异构体的存在及其潜在意义给出了“yes”。他们在单句中使用了“but, yes”的方法。他们提醒我们注意局限性，但没有过多纠缠于此。

\subsection{初始方法学考虑部分}
虽然通常应避免在重要位置提出约束和局限性，但在极少数情况下这是必要的。当实验方法非常规或新颖时，在讨论结果之前，向读者说明其优缺点可能非常重要。在这种情况下，可以在讨论的开头部分加入一个方法学考虑的部分，将其融入故事的开端。

一个这种方法的例子是我写的一篇论文，评估了森林凋落物中分解叶片之间氮迁移的控制机制。当叶片落下时，它们会在土壤表面形成一层，这一层可能包含来自不同树种的叶片，其中一些富含氮，而另一些则贫氮。这创造了一个复杂的环境，其中氮从富氮叶片向贫氮叶片的迁移可能调控整个凋落物层的分解。

实验使用15N同位素示踪剂来追踪氮从15N标记叶片向未标记叶片的迁移，但它采用了如图18.1所示的“微宇宙”设计：两片叶片（一片标记，一片未标记）用金属丝固定在一起，并用塑料包裹以防止干燥——这与实际森林中的情况并不完全相同。由于这是一个非常人工化的实验设计，我们认为有必要明确说明这对数据解释的限制，并将这一讨论放在读者无法忽视的显著位置。我们在讨论的开头加入了一个“实验考虑”部分。

\begin{figure}[tb]
    \centering
    \includegraphics[width=0.6\textwidth]{fig/ch18/setup.png}
    \caption{这是一个评估分解叶片之间氮运动的实验装置。}
\end{figure}


\begin{quote}
   例  18.8

\textit{Experimental Considerations\\
This experiment used a rather artificial structure: pairs of individual leaves held together to ensure contact and minimize diffusion limitations. We labeled [with 15N] only the microorganisms growing on the litter and so were evaluating the short-term movement of N as regulated by the release and uptake of N by communities growing on different substrates. Although fungi were likely involved in decomposing the leaves, we did not observe fungal mycelia developing between them; such mycelia are thought to be important in moving N through a natural litter layer. Thus, this design provides little information about the amount of N that would actually move within natural litter layers decomposing in situ. However, this controlled experimental design allowed us to do a 15N budget on each individual leaf-pair microcosm and thereby evaluate the bi-directional N movement among leaves of different species and N-levels, and to evaluate the separate role of source and sink N concentrations in regulating N movement within the microcosms.
}\end{quote}

这段文字诚实地说明了实验的局限性，并指出它对野外氮迁移速率的了解有限。但它提供了一个平台，让我们能够评估控制迁移的机制，并提供了有用的见解。这一讨论还让我们提醒读者我们所针对的知识空白以及我们提出的问题。

\subsection{在结论中}
你绝不应将局限性作为结论，但有时你可能需要在结论中提及它们。在这种情况下，你需要一个明确的“but, yes”结构，以尽快框定局限性，然后推进到结论——你学到了什么。

一个特别巧妙的做法如Example 18.9所示。这篇论文评估了在那些没有记录出生和死亡的国家中估计五岁以下儿童死亡率的方法。没有绝对的数据集可以作为评估估计可靠性的参考。这留下了一些不确定性，限制了结论。但如果作者将整个讨论放在结论段落中，会使其显得过于冗长。相反，他们在倒数第二段讨论了局限性，这一段较长且复杂（21行）。最后的结论段落只有11行。

\begin{quote}
   例 18.9

\textit{Despite these limitations, the methods proposed here represent a major advance on current practice and offer the prospect of vastly increasing our knowledge about levels, recent trends, and inequalities in child mortality. If we are to make rapid progress with the unfinished agenda of reducing child deaths, policy and practice must be better informed by more comprehensive, relevant, and timely information. Systematic application of the methods proposed here will establish that evidence base, and thereby increase accountability among countries and the global health community to accelerate efforts to reduce the global toll of child deaths.
}\end{quote}

这段文字提醒我们注意约束，但通过简洁的名词化表达（“these limitations”）指向前一段。这同时突出并最小化了局限性！通过将负面和正面内容分成不同的故事弧，并使用有效的语言将它们联系起来，作者诚实地处理了约束，同时没有削弱结论的力量。这做得非常好。

正如我在本章开头所说，没有任何研究是完美的，承认这一点并没有什么可尴尬的。相反，这是我们的责任——解决我们工作的局限性。“but, yes”方法以开放的态度面对局限性，同时突出结论。它使陈述清晰、有力且可信。通过阐明你工作的局限性和力量，它将激励其他人继续研究并引用它。